Gradient Descent Method - 경사 하강법

경사 하강법(Gradient Descent)은 최적화 기법 중 하나로, 함수의 기울기를 따라 내려가면서 최적의 값을 찾는 알고리즘이다. 머신러닝과 딥러닝에서 비용 함수(Cost Function)를 최소화하는 데 사용된다.

(1) 경사 하강법이란?

경사 하강법은 특정 함수의 기울기를 이용해 "최소값(Local Minimum)"을 찾아가는 반복적인 최적화 방법이다.

(2) 경사 하강법의 수식

경사 하강법은 다음과 같은 수식으로 표현된다:

\[ \theta_{t+1} = \theta_t - \alpha \nabla J(\theta_t) \]

• \( \theta_t \): 현재 가중치
• \( \alpha \): 학습률 (Learning Rate)
• \( \nabla J(\theta_t) \): 비용 함수의 기울기

이 수식을 반복적으로 적용하여 최적의 \( \theta \) 값을 찾는다.

(3) 경사 하강법의 종류

• 배치 경사 하강법 (Batch Gradient Descent, BGD): 전체 데이터를 이용하여 한 번의 업데이트 수행
• 확률적 경사 하강법 (Stochastic Gradient Descent, SGD): 한 개의 데이터 샘플을 이용하여 업데이트 수행
• 미니배치 경사 하강법 (Mini-batch Gradient Descent): 일정 크기의 데이터 배치를 이용하여 업데이트 수행

(4) 경사 하강법의 활용

• 머신러닝 모델 학습 (예: 선형 회귀, 로지스틱 회귀)
• 딥러닝에서 신경망 가중치 최적화
• 최적화 문제 해결 (예: 함수 최적화, 강화 학습)